Setoka: A Benchmark for Hierarchical User Understanding in Personalized Agents over Heterogeneous Data
Setoka：面向异构数据的个性化 Agent 分层用户理解基准
🧭 Agent 记忆系统与用户理解评估 ★ 深度解读
East China Normal University · The Chinese University of Hong Kong
首个心理学驱动的分层基准，评估记忆 Agent 从显式事实到人格特质的跨源推理能力
📌 工作参考价值（4 点）
- 记忆系统选型与分层设计：在电商/Agent场景中，简单事实检索（如用户偏好标签）用精确数据库查询即可，但跨多源行为聚合（如长期购物节奏、品类偏好漂移）需要带时间上下文的结构化记忆；更抽象的用户人格推理（如价格敏感性、冲动消费倾向）则需图结构记忆以显式关联分散证据，建议按查询抽象层次选择或组合多种记忆结构。
- 评估体系分层化：不要仅用整体准确率验收记忆系统，而应分解为单记录召回、多记录拼接、长周期聚合、跨类别泛化四个层次分别评估，暴露系统短板（例如当前系统情景记忆与行为模式得分骤降），尤其注意区分回答率与准确率，避免模型置信度误判。
- 异构用户数据的合成与一致性保障：可利用“事件锚定生成树”方法，先生成连贯的行为模式再扩展为多源记录，确保消息、日志、社交图等不同数据表围绕同一核心事件一致，可用于构造内部评测集，规避真实用户隐私问题。
- 人格/行为推理的显式建模：如果业务中需要推断用户深层特质（如新用户冷启动时的人格化推荐），可借鉴心理量表到行为模式的规则映射，将大五人格或消费相关特质转化为可观测的行为频率证据，建立从底层日志到高层画像的因果链，提升可解释性与冷启动效果。